De heerlijkheid van Baronville bestond al in de 11de eeuw, met Johannes de Baronville als eerst gekende heer.
Het imposante château de Baronville heeft een rechthoekige plattegrond en wordt vergezeld door twee zijvleugels waardoor het een U-vormig complex vormt in Lodewijk XV stijl. Het heeft een afgesloten hoofdplein met gekroonde muren en slotgrachten.
In 1793 werd het kasteel in de as gelegd. De troep Franse revolutionairen die het kasteel in brand staken, lieten het later heropbouwen maar dan wel in een klassieke stijl. Tussen 1901 en 1910 vonden Franse geestelijken van de abdij Saint-Maur-sur-Loire, op de vlucht voor de antiklerikale wetten van de Combes, hier een veilig onderkomen. In de tien volgende jaren, 1910-1920, werd het kasteel gehuurd door de Paters van het Heilig Sacrament uit Parijs. Nog voor het einde van de Tweede Wereldoorlog werd het kasteeldomein van Baronville overgedragen aan een Kortrijkse industrieel, Julien Demuynk.
In 1953 werd het château de Baronville onder de benaming, Home Edmond Leclerq, een vakantiecentrum van de Liberale Mutualiteiten.